พล.ต.อ.พิชัย (เดิมชื่อ จอน) เกิดเมื่อวันที่ 16 พฤศจิกายน พ.ศ. 2448 ที่อำเภอบ้านโพธิ์ จังหวัดฉะเชิงเทรา เป็นบุตรของนายปลื้ม กุลละวณิชย์ กับนางสวย กุลละวณิชย์ มีพี่น้อง 8 คน คือ นายเจิม นายเจียน นายเจียม (พระพรหมคุณาภรณ์ (เจียม จิรปุญฺโญ)) พล.ต.อ.พิชัย นายจวน นางจันทร์ พล.อ.ท.จอม และนายเจริญฤทธิ์

ในวัยเด็กได้รับการศึกษาที่วัดลาดขวาง ต่อมาเข้าเรียนที่โรงเรียนประจำจังหวัดฉะเชิงเทรา จนจบชั้นมัธยม 3 จากนั้นได้ย้ายเข้าไปอาศัยในกรุงเทพมหานคร และเข้าเรียนต่อที่โรงเรียนปทุมคงคา จนถึงชั้นมัธยม 6 จึงได้ย้ายไปเรียนต่อที่โรงเรียนสวนกุหลาบวิทยาลัย เมื่อจบชั้นมัธยม 8 ได้เข้าศึกษาต่อยันตรกรรม (วิศวกรรม) ที่จุฬาลงกรณ์มหาวิทยาลัย